CARM: Cancellation-Aware Response Masking for LLM Reinforcement Learning
CARM：面向 LLM 强化学习的抵消感知响应掩码
🧭 LLM RL 离策略响应掩码 ★ 深度解读
Moore Threads AI
用绝对 log-ratio 均值替代带符号 geometric mean，防止双向策略漂移相互抵消，提升 GRPO 训练稳定性与推理/代码效果
📌 工作参考价值（4 点）
- 在做 LLM 推荐/Agent reasoner 的 GRPO/PPO 训练时，可直接把现有 GeoMean 离策略 mask 换成 CARM：只改聚合方式为 mean absolute log-ratio，复用 rollout logprobs，工程成本低，且不改变 token 级 surrogate。
- 阈值可直接当策略漂移监控：对 token ratio band [0.8,1.28]，tau=1.02 意味着最多约 8.88% token 越界；tau=1.04 约 17.58%。可据此设置离线训练过滤阈值和预警线。
- 不要只 mask negative-advantage 样本：CARM 消融显示标准全量 mask 在数学和代码任务上都明显好于 negative-only；正 advantage 样本同样可能离策略，推荐/Agent 任务中奖励稀疏时更建议全量掩码。
- 过滤比例不是越高越好：accuracy 与 masked fraction 非单调，调试时不要只盯 mask rate，应结合验证集准确率、保留样本质量或 best-of-k 一致性来调 tau。